Hàm số có cực đại, cực tiểu khi m<2. Tọa độ các điểm cực trị là :

\(A\left(0;m^2-5m+5\right);B\left(\sqrt{2-m};1-m\right);C\left(-\sqrt{2-m};1-m\right)\)

\(y'=4x^3+12mx^2+6\left(m+1\right)x=2x\left[2x^2+6mx+3\left(m+1\right)\right]\)

Hàm có cực tiểu mà ko có cực đại khi và chỉ khi \(y'=0\) có đúng 1 nghiệm đơn

TH1: \(2x^2+6mx+3\left(m+1\right)=0\) có nghiệm \(x=0\)

\(\Leftrightarrow m=-1\)

TH2: \(2x^2+6mx+3\left(m+1\right)=0\) có ít hơn 2 nghiệm

\(\Leftrightarrow\Delta'=9m^2-6\left(m+1\right)\le0\)

\(\Leftrightarrow\dfrac{1-\sqrt{7}}{3}\le m\le\dfrac{1+\sqrt{7}}{3}\)

Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

\(\Leftrightarrow y'=0\) 

có 2 nghiệm phân biệt \(x_1,x_2\) thỏa mãn \(x_1\)<\(x_2\)<1

\(\Leftrightarrow\)\(\begin{cases}\Delta'=4m^2-m-5>0\\f\left(1\right)=-5m+7>0\\\frac{S}{2}=\frac{2m-1}{3}<1\end{cases}\)\(\Leftrightarrow\)\(\frac{5}{4}\)<m<\(\frac{7}{5}\)

Với \(m=-1\) thỏa mãn

Với \(m\ne-1\) hàm chỉ có cực tiểu mà không có cực đại khi:

\(\left\{{}\begin{matrix}m+1>0\\-m\left(m+1\right)\ge0\end{matrix}\right.\) \(\Leftrightarrow-1< m\le0\)

Vậy \(-1\le m\le0\)

Ta có \(y'=3x^2-3\left(m-2\right)x-3\left(m-1\right)\), với mọi \(x\in R\)

\(y'=0\Leftrightarrow x^2-\left(m-2\right)x-m+1=0\Leftrightarrow x_1=-1;x_2=m-1\)

Chú ý rằng với m > 0 thì \(x_1< x_2\). Khi đó hàm số đạt cực đại tại \(x_1=-1\) và đạt cực tiểu tại \(x_2=m-1\). Do đó :

\(y_{CD}=y\left(-1\right)=\frac{3m}{2};y_{CT}=y\left(m-1\right)=-\frac{1}{2}\left(m+2\right)\left(m-1\right)^2+1\)

Từ giả thiết ta có \(2.\frac{3m}{2}-\frac{1}{2}\left(m+2\right)\left(m-1\right)^2+1\Leftrightarrow6m-6-\left(m+2\right)\left(m-1\right)^2=0\)

                                                                              \(\Leftrightarrow\left(m-1\right)\left(m^2+m-8\right)=0\Leftrightarrow m=1;m=\frac{-1\pm\sqrt{33}}{2}\)

Đối chiếu yêu cầu m > 0, ta có giá trị cần tìm là \(m=1;m=\frac{-1\pm\sqrt{33}}{2}\)